Modelos Autoregresivos

Modelo AR(1)

Ahora si podemos definir nuestro primer modelo lineal, el modelo Autoregresivo de orden 1 o AR(1)

\[\begin{equation} (1-\phi L)x_t = \varepsilon_t \end{equation}\]

Que también podemos escribir como \(x_t = \phi x_{t-1} + \varepsilon_t\). El AR(1) depende entonces solo de la variable de interés rezagada y el proceso de innovación.

¿Bajo que supuestos es el modelo AR(1) estacionario (débil)? Para esto miremos cual es la media y la varianza de este modelo.

\[\begin{align} E(x_t) & = E(\phi x_{t-1} + \varepsilon_t) \\ & = \phi E(x_{t-1}) + E(\varepsilon_t) \\ & = \phi E[ (\phi x_{t-2} + \varepsilon_{t-1})] + E(\varepsilon_t) \text{ Repetimos el proceso} \\ & = \phi^2 E[ x_{t-2}] + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ & = \phi^2 E[(\phi x_{t-3} + \varepsilon_{t-2})] + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \end{align}\]

Si seguimos iterando hacia atrás obtenemos \[\begin{align} E(x_t) & = \phi^n E[x_{t-n}] + \phi^{n-1} E[\varepsilon_{t-(n-1)}] + \dots + \phi E[ \varepsilon_{t-1}] + E(\varepsilon_t) \\ \\ E(x_t) & = \phi^n E[x_{t-n}] + 0 + \dots + 0 + 0 \\ E(x_t) & = \phi^n E[x_{t-n}] \end{align}\]

Suponemos que \(n \rightarrow \infty\) por lo tanto para que la media exista y no cambie a través del tiempo \(|\phi | \leq 1\), y como vimos en el caso del paseo aleatorio, \(|\phi | \neq 1\), así \(|\phi | < 1\)

Ahora hacemos lo mismo para la varianza, por facilidad de exposición asumimos que \(E[x_1] = 0\):

\[\begin{align} Var(x_t) & = E[(x_t - E[x_t])^2] \\ & = E[x_t^2] \\ & = E[(\phi x_{t-1} + \varepsilon_t)^2] \\ & = E[(\phi x_{t-1})^2] + 2E[\phi x_{t-1}\varepsilon_t] + E[\varepsilon_t^2] \\ & = \phi^2 E[x_{t-1}^2] + 0 + E[\varepsilon_t^2] \end{align}\]

Si seguimos iterando hacia atrás obtenemos

\[\begin{align} Var(x_t) & = \phi^2 E[(\phi x_{t-2} + \varepsilon_{t-1})^2] + E[\varepsilon_t^2] \\ & = \phi^4 E[x_{t-2}^2] + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \\ \end{align}\]

Repitiendo este proceso, obtenemos

\[\begin{align} Var(x_t) & = \phi^{2n} E[x_{t-n}^2] + \phi^{2(n-1)} E[\varepsilon_{t-n}^2 ] + \dots \\ & + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \end{align}\]

Dado que mostramos que para ser estacionaria en media \(|\phi| < 1\),

\[\begin{align} Var(x_t) & = \phi^{2(n-1)} E[\varepsilon_{t-n}^2 ] + \dots + \phi^2 E[\varepsilon_{t-1}^2] + E[\varepsilon_t^2] \end{align}\]

Que podemos escribir como \(Var(x_t) = E[\alpha(L)\varepsilon_t]\). Ahora, si multiplicamos por \(\phi^2\) obtenemos

\[\begin{align} \phi^2E[\alpha(L)\varepsilon_t] & = \phi^{2n} E[\varepsilon_{t-n}^2 ] + \dots + \phi^4 E[\varepsilon_{t-1}^2] + \phi^2 E[\varepsilon_t^2] \end{align}\]

Reemplazamos por el valor de la esperanza,

\[\begin{align} E[\alpha(L)\varepsilon_t] & = \phi^{2(n-1)} \sigma^2 + \dots + \phi^2 \sigma^2 + \sigma^2 \\ \phi^2E[\alpha(L)\varepsilon_t] & = \phi^{2n} \sigma^2 + \dots + \phi^4 \sigma^2 + \phi^2 \sigma^2 \end{align}\]

Y restamos

\[\begin{align} E[\alpha(L)\varepsilon_t] - \phi^2E[\alpha(L)\varepsilon_t] & = \phi^{2(n-1)} \sigma^2 + \dots + \phi^2 \sigma^2 + \sigma^2 \\ & - \phi^{2n} \sigma^2 - \dots - \phi^4 \sigma^2 - \phi^2 \sigma^2 \\ (1 - \phi) E[\alpha(L)\varepsilon_t] & = \sigma^2 - \phi^{2n} \sigma^2 \end{align}\]

dado que \(|\phi | < 1\), finalmente obtenemos

\[\begin{align} E[\alpha(L)\varepsilon_t] & = \frac{\sigma^2}{1 - \phi^2} \\ Var(x_t) & = \frac{\sigma^2}{1 - \phi^2} \end{align}\]

Finalmente, miremos la auto-covarianza para un proceso estacionario:

\[\begin{align} \gamma_j & = cov(x_t,x_{t-j}) \\ & = E[(x_t x_{t-j}) - \mu_t\mu_{t-j}] \\ & = E[x_t x_{t-j}] \end{align}\]

Dado que \(\mu_t=0\)

Reemplazamos \(x_t\) y obtenemos:

\[\begin{align} \gamma_j & = E[ (\phi x_{t-1} + \varepsilon_t ) x_{t-j}] \\ & = E[ \phi x_{t-1} x_{t-j} + \varepsilon_t x_{t-j}] \\ & = \phi E[x_{t-1} x_{t-j}] + E[\varepsilon_t x_{t-j}] \\ & = \phi E[x_{t-1} x_{t-j}] \end{align}\]

Dado que, como probamos anteriormente \(E[\varepsilon_t x_{t-j}]=0\)

Como vimos previamente \(\gamma_j = E[x_t x_{t-j}]\), por lo tanto

\[\begin{equation} \gamma_j = \phi \gamma_{j-1} \end{equation}\]

resolvemos entonces para \(\gamma_o\), \(\gamma_1\) y generalizamos para \(\gamma_j\). Es fácil ver que \(\gamma_0\) es \(Var(x_t)\)

Por lo tanto:

\[\begin{align} \gamma_0 & = \frac{\sigma^2}{1 - \phi^2} \\ \gamma_1 & = \phi \frac{\sigma^2}{1 - \phi^2} \\ \gamma_2 & = \phi^2 \frac{\sigma^2}{1 - \phi^2} \\ & \vdots \\ \gamma_j & = \phi^j \frac{\sigma^2}{1 - \phi^2} \end{align}\]

Estimamos la auto-correlación

\[\begin{align} \rho_0 & = \frac{\gamma_0}{\gamma_0} = 1 \\ \rho_1 & = \frac{\phi \gamma_0}{\gamma_0} = \phi \\ \rho_2 & = \frac{\phi \gamma_1}{\gamma_0} = \phi^2 \\ & \vdots \\ \rho_j & = \frac{\phi \gamma_{j-1}}{\gamma_0} = \phi^j \end{align}\]

Modelo AR(2)

Definimos el modelo AR(2) como

\[\begin{equation} x_t = \phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t \end{equation}\]

o usando el operador de rezagos

\[\begin{equation}\label{eq:Lar2} (1-\phi_1 L - \phi_2 L^2) x_t = \varepsilon_t \end{equation}\]

• Para encontrar las restricciones para que este proceso sea estacionario podemos seguir el mismo proceso que antes haciendo iteraciones hacia atrás. Sin embargo, mientras más términos tenga la ecuación más engorroso se vuelve este proceso.
• Otra forma de resolver este proceso es haciendo uso de ecuaciones en diferencias. Usando el operador de rezagos podemos obtener la solución general de la forma \(x_t = \lambda^t\).

así la solución seria

\[\begin{equation} \lambda^2 - \phi_1 \lambda - \phi_2 = 0 \end{equation}\]

Debido a que \(E[\varepsilon_t]=0\) y no hay constante. Las soluciones para \(\lambda\) están dadas por,

\[\begin{equation} \lambda_1, \lambda_2 = \frac{\phi_1 \pm \sqrt{\phi_1^2 + 4\phi_2}}{2} \end{equation}\]

Sin embargo, esto nos da la solución para \(\lambda\) pero nuestros parámetros de interés son los \(\phi_i\).

Afortunadamente, se puede probar que siempre y cuando los valores \(\lambda_1, \lambda_2\) caigan dentro del circulo de unidad. i.e. \(|| \lambda_i || < 1\) para todo \(i\) la serie es estacionaria (Esto no lo probaremos en clase pero si están interesados la sección 5.1.2 de Econometric theory de Davidson lo demuestra).

Con esta solución podemos encontrar las restricciones que debemos imponer a los \(\phi_i\) para lograr que los \(\lambda_i\) cumplan con esta restricción, estas son

\[\begin{align} \phi_1 + \phi_2 & < 1 \\ -\phi_1 + \phi_2 & < 1 \\ | \phi_2 | & < 1 \end{align}\]

Estas condiciones nos permiten verificar rápidamente si un modelo AR(2) es estacionario, y en caso de cumplir las condiciones podemos estimar directamente la media \(\mu = E[x_t]\),

\[\begin{align} \mu & = E[\phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t ] \\ & = \phi_1 E[x_{t-1}] + \phi_2 E[x_{t-2}] + E[\varepsilon_t] \\ & = \phi_1 \mu + \phi_2 \mu + E[\varepsilon_t] \\ (1 - \phi_1 - \phi_2) \mu & = E[\varepsilon_t] \\ \mu & = \frac{E[\varepsilon_t]}{1 - \phi_1 - \phi_2} = 0 \end{align}\]

Ahora estimaremos la varianza del modelo AR(2) estacionario,

\[\begin{align} \gamma_0 & = E[(x_t - E[x_t])^2] \\ & = E[x_t^2] \\ & = E[x_t x_t] \\ & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t)x_t ] \\ & = \phi_1 E[x_{t-1}x_{t} + \phi_2 E[x_{t-2} x_t] + E[\varepsilon_t x_t] \\ & = \phi_1 \gamma_1 + \phi_2 \gamma_2 + E[\varepsilon_t (\phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t)] \end{align}\]

Dados los supuestos del proceso de innovación, \(\varepsilon_t\), no esta correlacionada con \(x_{t-j}\) para \(j>0\) por lo cual

\[\begin{align} \gamma_0 & = \phi_1 \gamma_1 + \phi_2 \gamma_2 + E[\varepsilon_t^2] \\ & = \phi_1 \gamma_1 + \phi_2 \gamma_2 + \sigma^2 \end{align}\]

Vemos que \(\gamma_0\) depende de \(\gamma_1\) y \(\gamma_2\), por lo cual necesitamos estimarlos para resolver esta ecuación

Empecemos con \(\gamma_1\),

\[\begin{align} \gamma_1 & = E[(x_t x_{t-1}) - \mu_t \mu_{t-1}] \\ & = E[x_t x_{t-1}] \\ & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t)x_{t-1}] \\ & = \phi_1 E[x_{t-1}x_{t-1}] + \phi_2 E[x_{t-2}x_{t-1}] + E[\varepsilon_t x_{t-1}] \\ & = \phi_1 \gamma_0 + \phi_2 \gamma_1 \\ (1 - \phi_2) \gamma_1 & = \phi_1 \gamma_0 \\ \gamma_1 & = \frac{\phi_1 \gamma_0}{1 - \phi_2 } \end{align}\]

Ahora \(\gamma_2\),

\[\begin{align} \gamma_2 & = E[x_t x_{t-2}] \\ & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t)x_{t-2}] \\ & = \phi_1 E[x_{t-1}x_{t-2}] + \phi_2 E[x_{t-2}x_{t-2}] + E[\varepsilon_t x_{t-2}] \\ & = \phi_1 \gamma_1 + \phi_2 \gamma_0 \\ \end{align}\]

Reemplazamos \(\gamma_1\)

\[\begin{align} \gamma_2 & = \phi_1 \frac{\phi_1 \gamma_0}{1 - \phi_2 } + \phi_2 \gamma_0 \\ & = \left( \frac{\phi_1^2}{1 - \phi_2 } + \phi_2 \right) \gamma_0 \\ & = \frac{\phi_1^2 + \phi_2(1 - \phi_2)}{1 - \phi_2 } \gamma_0 \end{align}\]

Y finalmente en \(\gamma_0\)

\[\begin{align} \gamma_0 & = \phi_1 \frac{\phi_1 \gamma_0}{1 - \phi_2 } + \phi_2 \frac{\phi_1^2 + \phi_2 (1 - \phi_2)}{1 - \phi_2 } \gamma_0 + \sigma^2 \\ (1- \phi_2) \gamma_0 & = [\phi_1^2 + \phi_2 (\phi_1^2 + \phi_2 (1- \phi_2)) ] \gamma_0 + (1- \phi_2) \sigma^2 \\ (1- \phi_2) \gamma_0 & = [\phi_1^2 (1 + \phi_2) + \phi_2^2 (1 - \phi_2)] \gamma_0 + (1- \phi_2) \sigma^2 \\ [ (1- \phi_2) - \phi_1^2 & (1 + \phi_2) - \phi_2^2 (1 - \phi_2) ] \gamma_0 = (1- \phi_2) \sigma^2 \\ [(1- \phi_2^2) (1 - \phi_2) & - \phi_1^2 (1 + \phi_2)] \gamma_0 = (1- \phi_2) \sigma^2 \end{align}\]

Factorizando,

\[\begin{align} [(1 + \phi_2) (1 - \phi_2)^2 & - \phi_1^2 (1 + \phi_2)] \gamma_0 = (1- \phi_2) \sigma^2 \\ \gamma_0 & = \frac{(1- \phi_2)}{(1 + \phi_2) [(1 - \phi_2)^2 - \phi_1^2] } \sigma^2 \end{align}\]

Ahora miremos como se comporta \(\gamma_j\)

\[\begin{align} \gamma_j & = E[(x_t x_{t-j}) - \mu_t \mu_{t-j}] \\ & = E[x_t x_{t-j}] \\ & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \varepsilon_t)x_{t-j}] \\ & = \phi_1 E[x_{t-1}x_{t-j}] + \phi_2 E[x_{t-2}x_{t-j}] + E[\varepsilon_t x_{t-j}] \\ \gamma_j & = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} \end{align}\]

Finalmente, miramos la auto-correlación

\[\begin{align} \rho_j & = \frac{\phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2}}{\gamma_0} \\ & = \phi_1 \rho_{j-1} + \phi_2 \rho_{j-2} \end{align}\]

Examinando el caso especial de \(\rho_1\) y \(\rho_2\)

\[\begin{align} \rho_1 & = \phi_1 + \phi_2 \rho_{1} \\ \rho_2 & = \phi_1 \rho_1 + \phi_2 \end{align}\]

Si ponemos estas ecuaciones en función de \(\phi_1\) y \(\phi_2\) podríamos obtener estos valores basados en las auto-correlaciones

\[\begin{align} \phi_1 & = \rho_1 - \phi_2 \rho_{1} \\ \phi_2 & = - \phi_1 \rho_1 + \rho_2 \end{align}\]

Este sistema de ecuaciones recibe el nombre de ecuaciones de Yule-Walker, y es representado en forma matricial como

\[\begin{equation} \begin{bmatrix} \phi_1 \\ \phi_2 \end{bmatrix} = \begin{bmatrix} 1 & \rho_1 \\ \rho_1 & 1 \end{bmatrix}^{-1} \begin{bmatrix} \rho_1 \\ \rho_2 \end{bmatrix} \end{equation}\]

Modelo AR(p)

Definimos el modelo AR(p) como

\[\begin{equation} x_t = \phi_1 x_{t-1} + \phi_2 x_{t-2} + \dots + \phi_p x_{t-p} + \varepsilon_t \label{eq:arp} \end{equation}\]

o usando el operador de rezagos

\[\begin{equation} \phi(L)x_t = \varepsilon_t \end{equation}\]

El proceso es estacionario si las soluciones de \(\lambda_i\) de la ecuación

\[\begin{equation} \lambda^p - \phi_1 \lambda^{p-1} - \dots - \phi_p = 0 \end{equation}\]

caen dentro del circulo de unidad

Asumiendo estacionariedad y realizando el mismo proceso que vimos para el proceso AR(1) y Ar(2) podemos obtener la media del proceso como:

\[\begin{equation} \mu = \frac{E[\varepsilon_t]}{1- \phi_1 - \phi_2 - \dots - \phi_p} \end{equation}\]

Así en el caso sin constante \(\mu = 0\)

Ahora para estimar las auto-covarianzas usando la misma estrategia que utilizamos para el modelo AR(2).

\[\begin{align} E[x_t x_{t-j}] & = E[(\phi_1 x_{t-1} + \phi_2 x_{t-2} + \dots + \phi_p x_{t-p} + \varepsilon_t) x_{t-j}] \\ E[x_t x_{t-j}] & = \phi_1 E[x_{t-1}x_{t-j}] + \phi_2 E[x_{t-2}x_{t-j}] + \dots + \phi_p E[x_{t-p} x_{t-j}] \\ & + E[\varepsilon_t x_{t-j}] \\ \gamma_j & = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} + \dots + \phi_p \gamma_{j-p} + E[\varepsilon_t x_{t-j}] \end{align}\]

Ahora podemos estimar la varianza, como \(\gamma_0\)

\[\begin{equation} \gamma_j = \phi_1 \gamma_{1} + \phi_2 \gamma_{2} + \dots + \phi_p \gamma_{p} + \sigma^2 \end{equation}\]

Y para valores de \(j>0\)

\[\begin{equation}\label{gamma:arp} \gamma_j = \phi_1 \gamma_{j-1} + \phi_2 \gamma_{j-2} + \dots + \phi_p \gamma_{j-p} \end{equation}\]

Y para las auto-correlaciones dividimos la ecuación por \(\gamma_0\) y obtenemos

\[\begin{equation} \rho_j = \phi_1 \rho_{j-1} + \phi_2 \rho_{j-2} + \dots + \phi_p \rho_{j-p} \end{equation}\]

con esto podemos estimar las ecuaciones de Yule-Walker,

\[\begin{align} \rho_1 & = \phi_1 + \phi_2 \rho_1 + \dots + \phi_p \rho_{p-1} \\ \rho_2 & = \phi_1 \rho_1 + \phi_2 + \dots + \phi_p \rho_{p-2} \\ & \vdots \\ \rho_p & = \phi_1 \rho_{p-1} + \phi_2 \rho_{p-2} + \dots + \phi_p \end{align}\]

Y en forma matricial para los términos de \(\phi\),

\[\begin{equation} \begin{bmatrix} \phi_1 \\ \phi_2 \\ \vdots \\ \phi_p \end{bmatrix} = \begin{bmatrix} 1 & \rho_1 & \dots & \rho_{p-1} \\ \rho_1 & 1 & \dots & \rho_{p-2} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{p-1} & \rho_{p-2} & \dots & 1 \end{bmatrix}^{-1} \begin{bmatrix} \rho_1 \\ \rho_2 \\ \vdots \\ \rho_p \end{bmatrix} \end{equation}\]

Modelos de Medias Móviles

Ahora miramos los modelos de medias móviles, empezamos por el modelo de medias móviles de orden 1, o MA(1).

Un modelo MA(1) se define como,

\[\begin{equation} x_t = \varepsilon_t - \theta \varepsilon_{t-1} \end{equation}\]

usando el operador de rezagos \(x_t = (1-\theta L) \varepsilon_{t}\)

Ahora calculamos la esperanza de este proceso,

\[\begin{align} E[x_t] & = E[\varepsilon_t - \theta \varepsilon_{t-1}] \\ E[x_t] & = E[\varepsilon_t] - \theta E[\varepsilon_{t-1}] \\ E[x_t] & = 0 \end{align}\]

Y la varianza

\[\begin{align} \gamma_0 & = E[x_t x_t] \\ & = E[(\varepsilon_t - \theta \varepsilon_{t-1})^2] \\ & = E[\varepsilon_t^2] - 2\theta E[\varepsilon_t \varepsilon_{t-1}] + \theta^2 E[\varepsilon_{t-1}^2] \\ & = \sigma^2 + \theta^2 \sigma^2 \\ & = \sigma^2 (1+\theta^2) \end{align}\]

Ahora, estimamos la auto-covarianza \(\gamma_j\) del proceso,

\[\begin{align*} \gamma_j & = E[x_t x_{t-j}] \\ & = E[(\varepsilon_t - \theta \varepsilon_{t-1})((\varepsilon_{t-j} - \theta \varepsilon_{t-j-1})] \\ \visible<2->{ & = E[\varepsilon_t \varepsilon_{t-j}] - \theta E[ \varepsilon_{t-1} \varepsilon_{t-j}] - \theta E[ \varepsilon_{t} \varepsilon_{t-j-1}] + \theta^2 E[ \varepsilon_{t-1} \varepsilon_{t-j-1}]} \end{align*}\]

\end{frame}

\end{document}